Beschreibung 

System unci Verfahren zur Durchfiihrung und Visualisierung von 
Simulationen in einer erweiterten Realitat 

5 

Die Erfindung betrifft ein System und ein Verfahren zur Dar- 
stellung von Informationen, insbesondere Augmented-Reality 
Informationen^ fiir mindestens einen Anwender. 

10 Eine derartiges System bzw. Verfahren kommt beispielsweise 
bei der Planung von Arbeitsprozessen und sonstigen Prozessen 
in einer industriellen Umgebung zum Einsatz. 

Augmented-Reality, kurz AR, ist eine neue Art der Mensch- 
15 Umgebungs-Interaktion mit groBem Potential zur Unterstiitzung 
von industriellen Arbeitsprozessen und sonstigen Prozessen 
vor und wahrend der Prozessablauf e. Bei dieser Technologie 
wird das Sichtfeld des Betrachters mit rechnergenerierten 
virtuellen Objekten angereichert^ so dass Produkt- und Pro- 
20 zessinformation intuitiv erfasst und genutzt werden konnen. 
Neben der sehr einfachen Interaktion - Mensch und Umgebung - 
erschlieBt der Einsatz tragbarer Computer AR-Anwendungsfelder 
mit hohen Mobilitatsanforderungen wie z. B. in Produktions- 
hallen,r raumlich verteilteh Anlagen oder grofivolumigen For- 
25 dereinrichtungen. Augmented-Reality wird bereits fiir Produk- 
tions- und Serviceanwendungen entwickelt. 

Der Erfindung liegt die Aufgabe zu Grunde, ein System und ein 
Verfahren anzugeben, das in einem Augmented-Reality System 

30 die Visualisierung von Simulationsergebnissen im Kontext zu 
realen Anordnungen ermoglicht. Mit Hilfe dieses Systems sol- 
len geplante Prozesse oder auch fiktive Situationen wie An- 
sammlung von Besuchern/ FehlerfSlle an bestehenden oder ge- 
planten Anlagen etc. direkt in der realen Umgebung visuali- 

35 siert und so fur den oder die Anwender erlebbar gemacht wer- 
den. 
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Diese Aufgatoe wird durch ein System zur Darstellung von In- 
f ormationen , insbesondere Augmented-Reality Inf ormationen, 

fiir mindestens einen Anwender mit 

• mindestens einer Erf assungseinheit zur Erfassung einer Urn- 
5 gebung und zur Generierung entsprechender Umgebungsinf or- 

mationen,. die eine Position und/oder eine Ausrichtung des 
Systems in Bezug auf die Umgebung kennzeichnen, 

• mindestens einem Simulationssystem zur Generierung von Si- 
mulationsdaten, 

10 • mindestens einer Verarbeitungseinheit zur Verkniipfung der 
Umgebungsinf ormationen und auf Basis der Simulationsdaten 
kontinuierlich modif izierter und in einem ersten Speicher- 
medium abgelegter Bildinf ormationen 
gelost . 

15 

Diese Aufgaloe wird waiter durch ein Verfahren zur Darstellung 
von Informationen, insbesondere Augmented-Reality Informatio- 
nen, fiir mindestens einen Anwender bei dem 

• mit Hilfe mindestens einer Erf assungseinheit eine Umgebung 
20 erfasst und entsprechende Umgebungsinf ormationen^ die eine 

Position und/oder eine Ausrichtung des Systems in Bezug 
auf die Umgebung kennzeichnen, generiert werden, 

• mit Hilfe mindestens eines Simulationssystems Simulations- 
daten generiert werden, 

25 • mit Hilfe mindestens einer Verarbeitungseinheit die Umge- 
bungsinf ormationen und auf Basis der Simulationsdaten kon- 
tinuierlich modif izierte und in einem ersten Speichermedi- 
um abgelegte Bildinf ormationen verkniipft werden 
gelost ♦ 

30 

Durch die Verkniipfung der mit Hilfe des Simulationssystems 
generierten Daten mit den auf die reale Umgebung bezogenen 
Umgebungsinf ormationen wird eine Visualisierung der Simulati- 
onsergebnisse im Kontext mit der realen Umgebung ermSglicht. 
35 Simulationsergebnisse werden mit Hilfe von Augmented-Reality 
in die Realxtat libertragen und dort in einer gemischt virtu- 
ellen realen Welt visualisiert . Dabei werden die dynamischen 
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Ergebnisse der Simulation entsprechend ihrer Dynamik in die 
reale Welt transportiert und somit fur den Betrachter erleb- 
bar gemacht • Simulationen, die bis dato nur in rein virtuel- 
len Umgebungen durchgefiihrt werden, konnen mit dem erfin- 
5 dungsgemaBen System bzw. der erf indungsgemaBen Vorrichtung in 
der Realitat dargestellt werden, ohne dass eine aufwendige 
Modellierung der realen Umgebung notwendig ist. Verfalschun- 
gen der realen Umgebung und daraus resultierende fehlerhafte 
Riickschliisse, die bei einer Nachbildung der Realitat nie 
10 vollstandig ausgeschlossen werden konnen, werden durch die 
erf indungsgemaBe Kombination von Simulationstechniken und 
Augmented-Reality Technologie vermieden. 

Neben der Augmentierung der Wirklichkeit durch reale Gegen- 
15 stande (z,B. Transportgiiter) kann die Simulation auch als 
Prognosewerkzeug eingesetzt werden. Dabei kann z. B. durch 
die Simulation eine Prognose erstellt werden, dass in naher 
Zukunft an einer Maschine Oder einer FSrdereinrichtung ein 
Problem auftritt. Dann kann z« B. als Warnung die Umgebung 
20 der Maschine gelb Oder rot eingefarbt werden (oder der virtu- 
ell explodierende Kessel gezeigt werden) . 

Das erfindungsgemSBe System kann beispielsweise fur folgende 
Aufgaben vorteilhaft eingesetzt werden: 

• Darstellung des Transportauf kommens von Giitern in Ferti- 
25 gungseinrichtungen und Forderanlagen in Abhangigkeit von 

unterschiedlichen Systemzustanden (Ausfall, Verfiigbarkeit 
bei redundanten Linien, Durchsatzeinf liisse wie Staus) 

• Darstellung von Besuchern bei Veranstaltungen in der rea- 
len Veranstaltungsumgebung (z. B. Personenauf kommen an 

30 MessestSnden, an Fluchtwegen, an Produktionslinien, 
etc. • . ) 

• Darstellung von TemperaturverlSuf en in TunnelSfen in Ab- 
hangigkeit von Bestiickung (Anzahl der Paletten mit Zie- 
geln) und Material 

35 • Darstellung des Bearbeitungszustands eines Werkstiicks in 
einer Werkzeugmaschine in der Zukunft oder Vergangenheit 
(Nutzen? Wie lange dauert die Bearbeitung noch?) 
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Bei einer vorteilhaften Ausfuhrungsf orm der Erfindung ist die 
Verarbeitungseinheit derart ausgefiihrt, dass sie zur Berech- 
nung von Verdeckungen virtueller Objekte durch eine im Erfas- 
sungsbereich des Systems existierende reale Anordnung auf Ba- 
5 sis der in dem ersten Speichermedium abgelegten Bildinf orma- 
tionen sowie zur Generierung einer Datenmenge zur Beschrei- 
bung der virtuellen Objekte dient, wobei die von der realen 
Anordnung verdeckt:en Flachen der virtuellen Objekte ausge- 
blendet sind. Auf diese Weise wird eine Datenmenge zur Wie- 

10 dergabe eines 3-dimensionalen Modells generiert, dessen Dar- 
stellung dem Anwender eine positionsgenaue Visualisierung 
virtueller und realer Objekte in alien drei Raumdimensionen 
ermoglicht. Durch die Ausblendung der von realen Objekten 
verdeckten Telle der virtuellen Objekte wird ein hinter einem 

15 realen Objekt pos±tioniertes virtuelles Objekt auch als sei- 
ches von dem Anwender wahrgenommen . 

Vorteilhafter Weise weist das System mindestens eine Wieder- 
gabeeinheit zur Darstellung der von der Verarbeitungseinheit 
20 generierten Datenmenge auf. Bei der Wiedergabe der Augmented- 
Reality Informationen konnen zwei unterschiedliche Verfahren 
zum Einsatz kommen. 

Die Wiedergabeeintieit kann als Head-Mounted-Display ausgebil- 
25 det sein, wobei d±e von den durch die Verarbeitungseinheit 

generierten Bildinf ormationen beschriebenen Objekte direkt in 
das Sichtfeld des Anwenders eingeblendet werden, und der An- 
wender den von den durch die Bildinf ormationen beschriebenen 
Objekten nicht veardeckten Teil der aktuellen Realitat weiter- 
30 hin direkt wahrnimmt. Bei dieser Art der Darstellung von Aug- 
mented-Reality Informationen handelt es sich um das sogenann- 
te Optical-See-Through Verfahren. 

Alternativ ist die Wiedergabeeinheit derart ausgebildet, dass 
35 die von den durch die Verarbeitungseinheit generierten Bild- 
inf ormationen beschriebenen Objekte und der von den durch die 
Bildinformationen beschriebenen Objekte nicht verdeckte Teil 
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der aktuellen Realitat dargestellt werden, wobei die Vorrich-- 
tung hierzu insbesondere mindestens eine Bilderf assungsein- 
heit^ die belspielsweise als Videokamera ausgefiihrt ist, zur 
Erfassung der aktuelle Realitat aufweist. Diese Ausfiihrungs- 
5 form ermoglicht die Darstellung der Augmented- Reality Infor- 
mationen fur mehrer Anwender. Bei dieser Art der Darstellung 
von Augmented-Reality Informationen handelt es sich um das 
sogenannte Video-See-Through Verfahren. Hierbei werden die 
von den Bildinf ormationen beschriebenen und nicht durch reale 

10 Objekte verdeckten Telle der virtuellen Objekte in das von 
der Videokamera erfasste Bild eingeblendet und auf einem o- 
der, z. B. unter Verwendung eines Videosplitters, mehreren 
Wiedergabeeinheiten dargestellt, Bei den Wiedergabeeinheiten 
kann es sich um Head-Mounted-Displays und/oder gewohnliche 

15 Monitore handeln^ die insbesondere auch an von der erfassten 
aktuellen Realitat entfernten Orten positioniert sein konnen. 

In elner vortellhaften Ausfiihrungsform weist das System min- 
destens eine Anwendungssteuerung zur Ansteuerung des Simula- 

20 tionssystems und/oder mindestens eines realen Prozesses auf. 
Die Anwendungssteuerung erlaubt die Aktivierung und die Steu- 
erung realer und virtueller Prozesse. Dariiber hinaus stellt 
sie die verfiagbaren Kommandos und den aktuellen Zustand des 
Systems, zum Beispiel unter Verwendung einer Videokarte, mit 

25 Hilfe der Wiedergabeeinheit dar. Zur Steuerung eines realen 
Prozesses ist zweckmaliigerweise zusatzlich eine Prozesssteue- 
rung vorgesetien, die das notwendige Ablaufsystem und die not- 
wendigen Steuerprogramme, um eine Anlage Oder Anlagenkompo- 
nenten nach elnem vorgegebenen Ablauf schema zu steuern (z.B. 

30 eine SPS mit ihren dazugehorigen Daten- und Funktionsbaustei- 
nen) enthalt . 

Um dem Anwender die MSglichkelt zu geben^ reale Prozesse und 
Simulationen aktivieren und steuern zu konnen, umfasst das 
35 System mindestens eine Anwenderschnittstelle, die dem Anwen- 
der eine Ansteuerung des Simulationssystems und/oder mindes- 
tens eines realen Prozesses erlavibt. Die Anwenderschnittstel- 
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le kann unterschiecili_che Eingabegerate umfassen wie z. B. 
Maus, Tastatur, Mikrophone, etc... Die von den Eingabegeraten 
gelieferten Signale warden mittels entsprechender Geratetrei- 
ber in Befehle fiir di-e Anwendungssteuerung umgesetzt. 

5 

ZweckmaBigerweise wei_st das System ein zweites Speichermedium 
auf/ in dem aktuelle Zustandswerte des realen ProzesseSr ins- 
besondere Sensorwerte und/oder zu setzende Aktorwerte, abge- 
legt sind, 

10 

Bei einer vorteilhaften Ausfiihrungsf orm ist das Simulations- 
system derart ausgefiihrt, dass der Ablauf einer Simulation 
durch die im zweiten Speichermedium abgelegten Zustandswerte 
kontinuierlich beeinf lusst werden kann und/oder die im zwei- 

15 ten Speichermedium abgelegten Zustandswerte durch das Simula- 
tionssystem modifiziert werden konnen. Durch die Moglichkeit 
des Zugriffs auf die im zweiten Speichermedium abgelegten Zu- 
standswerte, kann das Simulationssystem auf aktuelle Zustande 
eines realen Prozesses reagieren und eine laufende Simulation 

20 entsprechend beeinf lussen. Weiterhin kann das Simulationssys- 
tem Zustandswerte modif izieren und so einen laufenden realen 
Prozess beeinf lussen. 

Zur Beeinf lussung eines realen Prozessen und/oder zur Erfas- 
25 sung von Zustandsparametern eines realen Prozesses ist in ei- 
ner vorteilhaften Aus f uhrungsf orm mindestens eine Prozessan- 
bindung vorgesehen, w^elche die Veranderung des Zustandes ei- 
nes realen Prozesses, insbesondere in Abhangigkeit der im 
zweiten Speichermedium abgelegten Zustandswerte, und die Er- 
30 fassung des aktuellen Zustandes eines realen Prozesses er- 
laubt . 

In einer weiteren vorteilhaften Ausfiihrungsf orm des Systems 
ist ein drittes Speichermediiom vorgesehen, in dem Daten abge- 
35 legt werden, die eine Rekonstruktion eines mittels des Simu- 
lationssystems simulierten Vorganges erlauben. Das dritte 
Speichermedium enthalt kontinuierliche und zyklische Daten, 
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die liber eine definierte Zeitspanne aufgezeichnet worden 
sind. Sie sind hlnreichend genau^ urn von dem Simulationssys- 
tem aufgezeichnete Vorgange in Zeitlupe oder Zeitraffer ab~ 
spielen zu konnen, sowohl vorwarts als auch riickwarts entlang 
5 der Zeitachse gerichtet. 

Im Folgenden wird die Erfindung anhand der in den Figuren 
dargestellten Ausfiihrungsbeispiele nSher beschrieben und er- 
ISutert. Es zeigen: 

10 

FIG 1 eine schematische Darstellung eines System zur Darstel- 
lung von Inf ormationen^ insbesondere Augment ed-Reality 
Inf ormationen^ fur mindestens einen Anwender und 

FIG 2 eine detaiilierte Darstellung einer Ausf lihrungsf orm des 
15 in FIG 1 gezeigten Systems 

FIG 1 zeigt eine schematische Darstellung eines Systems 1 zur 
Darstellung von Informationen^ insbesondere Augmented-Reality 
Informationen, fur mindestens einen Anwender 2. Im Blickfeld 

20 des Anwenders 2 befindet sich eine reale Anordnung 11 ^ bei 
der es sich beispielsweise um einen Hubtisch handeln kann. 
Der Anwender 2 tragt auf dem Kopf eine Erf assungsvorrichtung 
3a/ zum Beispiel einen Sensor, die Bestandteil einer Erfas- 
sungseinheit 3 ist. Mit Hilfe der Erf assungsvorrichtung 3a 

25 wird die Umgebung des Anwenders 2 erfasst und mit einer Ver- 
arbeitungseinheit 3b entsprechende Umgebungsinf ormationen 4 
generiert/ die die Position und den Blickwinkel des Anwenders 
2 in Bezug auf die reale Anordnung 11 kennzeichnen. 

30 Das System weist ein erstes Speichermedium 5 auf, in dem 

Bildinformationen 6 beziiglich realer und virtueller Objekte 
abgelegt sind. Die Bildinformationen 6 beschreiben die realen 
und virtuellen Objekte in Form von dreidimensionalen Model- 
len. 

35 

Das System 1 umfasst weiterhin ein Simulations system 7, mit 
dem Simulationsdaten 12 generiert werden. Die in dem Spei- 
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chermedium 5 abgelegten Bildinf ormationen 6 werden hierbei 
kontinuierlich durch die von dem Simulationssystem 7 gene- 
rierten Simulationsdaten 12 aktualisiert . 

5 Eine Verarbeitungseinheit 8 verkniipft nun die Bildinf ormatio- 
nen 6 und die Umgebungsinformation 4 zu einer neuen Datenmen- 
ge 9, die mit Hilfe einer Wiedergabeeinheit 10 dargestellt 
werden kann. Durch die Verkniipfung der Bildinf ormationen 6 
mit den Umgebungsinf ormationen 4 durch die Verarbeitungsvor- 

10 richtung 8 ist nun eine posit ionsgenaue Einblendung der neu 
generierten Bildinf ormationen 9 in das Blickfeld des Anwen- 
ders 2 moglich. Hierbei werden Verdeckungen durch den Hub- 
tisch 11 von den durch die Bildinf ormation 6 beschriebenen 
geometrischen Anordnungen dem Anwender sichtbar gemacht. Die 

15 Visualisierung der in dem Speichermedium 5 abgelegten Daten 6 
zur Beschreibung virtueller Objekte erfolgt so im Kontext zu 
der realen Umgebung des Anwenders 2^ wobei der Anwender 2 ei- 
ne korrekte Darstellung sowohl der virtuellen als auch der 
realen Objekte in seiner Umgebung in alien drei Raumdimensio- 

20 nen erhalt. Bei der Darstellung der eirweiterten RealitSt ist 
durch das Simulationssystem 7 dariiber hinaus eine Dynamisie- 
rung der in dem erst en Speichermedium 5 abgelegten realen und 
virtuellen Objekte mQglich. 

25 FIG 2 zeigt eine detaillierte Darstellung einer Ausfiihrungs- 
form des in Figur 1 gezeigten Systems. Im Blickfeld eines An- 
wenders 2 befindet sich eine reale Anordnung 11, bei der es 
sich wiederum urn einen Hubtisch handeln kann. Mit Hilfe einer 
Erfassungseinheit 3 bestehend aus einer insbesondere als Sen- 

30 sor ausgefiihrten Erf assungsvorrichtung 3a und einer Verarbei- 
tungseinheit 3b werden die Position und der Blickwinkel des 
Anwenders 2 in Bezug auf die reale Anordnung 11 erfasst und 
in Form von Umgebungsinf ormationen 4, die in Gestalt einer 
Matrix vorliegen, • an die Verarbeitungseinheit 8 gegeben, Bei 

35 der Verarbeitungseinheit 3b kann es sich insbesondere um ein 
Trackingsystem handeln. 
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In einem ersten Speichermedium 5 befinden sich Bildinf ormati- 
onen 6 zur Beschreibung des dreidimensionalen Modells einer 
Oder mehrerer virtueller Oder realer Anordnungen. In dem ge- 
zeigten Beispiel handelt es sich bei den virtuellen oder rea- 
5 len Anordnungen urn einen virtuellen Robot er 18a und virtuelle 
Pakete 18b. In einem zxx visualisierenden Zukunftsszenario 
konnten z. B. die virtuellen Pakete 18b von dem realen Hub- 
tisch 11 transportiert und/oder gehoben werden und von dem 
virtuellen Robot er 18a nach einem oder mehreren QualitStskri- 
10 terien aussortiert werden. 

Ein Simulationssystem 7 generiert eine Menge von Simulations- 
daten 12, anhand derer die in dem Speichermedium 5 abgelegten 
Bildinf ormationen 6 kontinuierlich aktualisiert werden, Mit 
15 Hilfe des Simulationssystems 7 ist so eine Dynamisierung der 
virtuellen Objekte 18a und 18b moglich. 

In einem vierten Speichermedium 19 ist ein Simulationsmodell 
abgelegt, welches alle notwendigen Daten enthalt^ um sowohl 

20 von realen als auch von virtuellen Komponenten das physikali- 
sche Verhalten und das Steuerverhalten hinreichend genau si- 
mulieren zu konnen. Das Simulationsmodell beschreibt auch die 
Abhangigkeit zwischen den Objekten (z.B. Paket, das auf Hub- 
tisch liegt und entsprechend der aktuellen Fordergeschwindig- 

25 keit zu transportieren ist) . 

Die Verarbeitungseinhei-t 8 verkniipft die Umgebungsinf ormatio- 
nen 4 und die von dem Simulationssystem kontinuierlich aktua- 
lisierten Bildinf ormationen 6 der virtuellen Anordnungen 18a 

30 und 18b zu einer neuen Datenmenge 9. Um eine positionsgenaue 
Einblendung der virtuel-len Bildinformationen 6 in die reale 
Umgebung fiir den Anwender 2 zu ermoglichen, sind in einem 
fiinften Speichermedium 20 Kalibrierinf ormationen in Form von 
Matrizen abgelegt, die geometrische Abweichungen zwischen dem 

35 Sensor des Erf assungssy^stems 3a, dem Auge des Anwenders 2 und 
der Wiedergabeeinheit 10 beschreiben. Von der Verarbeitungs- 
einheit 8 werden die Teile der virtuellen geometrischen An- 
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ordnungen 18a und 18b ausgeblendet , die durch den Hubtisch 11 
verdeckt werden. Somit erhalt der Anwender 2 bei einer Dar- 
stellung der Datenmenge 9 einen korrekten dreidimensionalen 
Eindruck der erweiterten Realitat bestehend aus dem Hubtisch 
5 11, dem virtuelien Roboter 18a und den virtuellen Paketen 
18b. 

Die von der Verarbeitungseinheit 8 generierten Datenmenge 9 
wird mit Hilfe einer. Videokarte 21 in ein von der Wiedergabe- 
10 einheit 10 darstellbares Signal iimgewandelt . 

Das System 1 umfasst weiterhin eine Anwendungssteuerung 14, 
mit deren Hilfe auf das Simulationssystem 7 zugegriffen wer- 
den kann und ein realer Prozess, in diesem Fall z.B. ein ak- 

15 tiver Hubtisch 11, gesteuert werden kann. Hierzu steht dem 
Anwender 2 eine Anwenderschnittstelle 15 zur Verfiigung, die 
z.B. eine Maus, eine Tastatur oder auch ein Mikrofon umfassen 
kann. Die von dem Anwender 2 iiber die Anwenderschnittstelle 
15 eingegebenen Steuerbefehle werden mit Hilfe eines oder 

20 mehrerer GerStetreiber 22 in ein Signal fiir die Anwendungs- 
steuerung 14 konvertiert. Die fiir den Anwender 2 verfugbaren 
Kommandos konnen von der Anwendungssteuerung 14 mit Hilfe der 
Videokarte 21 auf dem Wiedergabegerat 10 dargestellt werden. 

25 Eine der Anwendungssteuerung 14 untergliederte Prozesssteue- 
rung 23 enthalt das notwendige Ablaufsystem und die notwendi- 
gen Steuerprogramme, um den Hubtisch 11 nach einem vorgegebe- 
nen Ablauf schema zu steuern. Hierbei kann es sich beispiels- 
weise um eine speicherprogrammierbare Steuerung (SPS) mit ih- 

30 ren dazugehSrigen Daten und Funktionsbausteinen handeln. 

In einem zweiten Speichermedium 13 sind die aktuellen Zu- 
standswerte des Hubtisches 11 abgelegt, sowie aktuell iiber 
eine Prozessschnittstelle 24 zu setzende Aktorwerte. Die in 
35 dem zweiten Speichermedium 13 abgelegten Sensor- und Aktor- 
werte konnen von dem Simulationssystem 7 sowohl gelesen wer- 
den, um entsprecliende Modif ikationen der laufenden Simulation 

10 
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durchzufiihren, als auch modifiziert werden, um eine Anderung 
des laufenden Prozesses -uber die Prozessschnittstelle 24 zu 
bewirken. Mit Hilfe eine^r Prozessanbindung 17 kdnnen die ak- 
tuellen Sensorwerte des Hubtisches 11 eingelesen werden sowie 
5 aktuelie Aktorwerte des Hubtisches 11 gesetzt werden. Die 
Sensorwerte werden in dem sich in dem zweiten SpeichermediiJin 
13 befindlichen Prozessalobild abgelegt und die Aktorwerte 
werden aus dem sich in dem zweiten Speichermedium 13 befind- 
lichen Prozessabbild gelesen. 

10 

Das beschriebene System 1 ermoglicht somit einen Zugriff des 
Anwenders 2 uber die Anwenderschnittstelle 15 sowohl auf den 
Ablauf der Simulation als auch auf den real ablaufenden Pro- 
zess auf dem Hubtisch 11 • Weiterhin konnen sich der reale 
15 Prozess und die Simulation gegenseitig beeinf lussen. 

Das System 1 weist ein djrittes Speichermedium 16 auf, in dem 
wahrend der Simulation generierte Daten kontinuierlich abge- 
legt werden. Diese kontinuierlich bzw. zyklisch iiber eine de- 
20 finierte Zeitspanne aufgezeichneten Daten sind hinreichend 

genau, um von dem Simulationssystem 7 aufgezeichnete Vorgange 
in Zeitlupe Oder ZeitrafiEer abspielen zu konnen. Dies ist so- 
wohl in Vorwarts- als auch in Riickwartsrichtung entlang der 
Zeitachse moglich. 

25 

Eine mogliche Vorgehensweise bei einer Verwendung des Systems 
1 ist wie f olgt : 

1. Anwender (2) mit AR-Gexat erfasst die reale Anordnung 11. 
30 2. Anwender 1 stoBt Simulationsprozess im Kontext der realen 
Anordnung 11 an. 

3. Simulationsprozess synchronisiert sich mit der realen An- 
ordnung 11. 

4 . Mit Hilfe von Tracking-verf ahren werden die visuellen Simu- 
35 lationsergebnisse im Sichtfeld des Anwenders 2 mit der re- 
alen Anordnung 11 in Deckung gebracht. 
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5. Anwender 2 beein±lusst im Zeitraffer / Zeitlupe den Simu- 
lationsprozess 

6. Anwender 2 sieht in der Zukunft liegende Fertigung-/ Umge- 
bungsvorgange in der dafur vorgesehenen realen Umgebung, 
bzw. im Kontext mit der realen Anordnung 11 

Das hier beschriebene System 1 kennt zwei Hauptmodi. Im ers- 
ten Modus, Prozess aktiv, werden die realen Komponenten di- 
rekt uber die Prozesssteuerung 23 und die Prozessanbindung 17 
gesteuert. Im zweiten Modus, Prozess passiv, werden die rea- 
len Komponenten nicht fiber die Prozessanbindung 17 angespro- 
chen. tiber die Anwendungssteuerung 14 werden die Modi akti- 
viert. Das Verhalten des Systems 1 bzw. der Systeinkomponenten 
in den beiden Modi ist wie folgt. 

In dem Modus Prozess aktiv werden die realen Komponenten uber 
die Prozessanbindung 17 angesprochen . Es erfolgt eine Dynami- 
sierung der Realitat und eine dazu passende Dynamisierung und 
Einbindung der virtuellen Komponenten 18a und 18b* Die Sys- 
temkomponenten sind aber so eingestellt, dass die berechneten 
bzw. erfassten Positionen der realen Komponenten, in diesem 
Fall des Hubtisches 11, sich im dreidimensionalen Modell wi- 
derspiegeln, aber nicht als Komponenten von dem Verarbei- 
tungssystem 8 eingeblendet werden, sondern lediglich zur Aus- 
blendung der verdeckten Telle der virtuellen Komponenten 18a 
und 18b Verwendung finden. 

In dem Modus Prozess passiv werden die realen Komponenten 
{der Hubtisch 11) uber die Prozessanbindung 17 nicht ange- 
sprochen und befinden sich in einem definierten Ruhezustand. 
Es erfolgt keine reale Dynamisierung der realen Anordnung 
bzw. des Hubtisches 11, sondern eine simulierte Dynamisierung 
der Realitat. Die dazu passende Dynamisierung und Einblendung 
der virtuellen Komponenten 18a und 18b erfolgt parallel. Die 
Systemkomponenten s±nd dabei so eingestellt, dass die berech- 
neten bzw. erfassten Positionen des Hubtisches 11 sich im 
dreidimensionalen Modell widerspiegeln und vom Verarbeitungs- 
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system 8 zusammen mit dem dreidimensionalen Modell der virtu- 
ellen Komponenten 18a und 18b eingeblendet werden, Gibt es 
eine Ubereinstiiranung zw±schen der berechneten Position des 
Hiibtisches 11 und der w±rklichen Position des Hubtisches 11, 
5 so wird das dreidimensionale Modell des Hubtisches 11 nicht 
eingeblendet, sondern nur fiir die Berechnung der Ausblendung 
verwendet* Dieser Modus wird insbesondere auch fur die Zeit- 
lupen- und Zeitraf f erfunktionalitat des Systems 1 eingesetzt. 

10 Zusammenfassend betrifft die Erfindung ein System und ein 

Verfahren innerhalb eines Augmented-Reality (AR) Systems zur 
Visualisierung von Simulationsergebnissen in einer gemischt 
virtuellen realen Umgebiang. Das System bzw. Verfahren ermog- 
licht es einem oder mehreren Anwender(n), Simulationsprozesse 

15 im Kontext einer realen Umgebung, insbesondere im Bereich der 
industriellen Automatis±erungstechnik, durchzuf uhren und de- 
ren statische und dynamische Ergebnisse im Kontext der realen 
Umgebung zu visualisieren. In der realen Omgebung ablaufende 
Prozesse werden erfasst und mit der Simulation synchroni- 

20 siert. Mit Hilfe einer Steuerungseinheit wird eine wechsel- 
seitige Beeinf lussung realer Prozesse mit der Simulation er- 
mSglicht. Weiterhin kann der Anwender uber eine Anwender- 
schnittstelle den Ablauf der Simulation steuern. 

25 
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P at ent an spr u che 

1. System (1) zur Darstellung von Inf ormationen, insbesonde- 
re Augment ed-Reality Inf ormationen,. fiir mindestens einen 
Anwender (2) mit 

• mindestens einer Erf assungseinheit (3) zur Erfassung einer 
Umgebung und zur Generierung entsprechender Umgebungsin- 
formationen (4)^ die eine Position und/oder eine Ausrich- 
tung des Systems (1) in Bezug auf die Umgebung kennzeich- 
nen, 

• mindestens einem Simulationssystem (7) zur Generierung von 
Simulationsdaten (12) und 

• mindestens einer Verrarbeitungseinheit (8) zur Verkniipfung 
der Umgebungsinformationen (4) und auf Basis der Simulati- 
onsdaten (12) kontinuierlich modif izierter und in einem 
erst en Speichermediu.in (5) abgelegter Bildinf ormationen 

(6) . 

2. System nach Anspruch 1^ 

dadurch gekennzeichnet , dass die Verarbeitungseinheit (8) 
derart ausgefuhrt ist, dass sie zur Berechnung von Verdeckun- 
gen virtueller Objekte (18a, 18b) durch eine im Erf assungsbe- 
reich des Systems (1) existierende reale Anordnung (11) auf 
Basis der in dem ersten Speichermedium (5) abgelegten Bildin- 
formationen (6) sowie zur Generierung einer Datenmenge (9) 
zur Beschreibung der v±rtuellen Objekte (18a, 18b) dient, wo- 
bei die von der realen Anordnung (11) verdeckten Flachen der 
virtuellen Objekte (18a, 18b) ausgeblendet sind. 

3. System nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet^ dass das System (1) mindestens eine 
Wiedergabeeinheit (10) zur Darstellung der von der Verarbei- 
tungseinheit (8) generierten Datenmenge (9) aufweist. 
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4* System nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet / dass das System mindestens eine An- 
wendungssteuerung (14) zur Ansteuerung des Simulationssystems 
(7) und/oder mindestens eines realen Prozesses aufweist. 

5 

5. System nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, dass das System (1) mindestens eine 
Anwenderschnittstelle (15) aufweist , die dem Anwender eine 
Ansteuerung des Simulationssystems (7) und/oder mindestens 
10 eines realen Prozesses erlaubt. 

6* System nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet , dass das System (1) ein zweites Spei- 
chermedium (13) aufweist, in dem aktuelle Zustandswerte des 
15 realen Prozesses , insbesondere Sensorwerte und/oder zu set- 
zende Aktorwerte, abgelegt sind. 

1. System nach einem der vorhergehenden Anspriicher 
dadurch gekennzeichnet^ dass das Simulationssystem (7) derart 
20 ausgefiihrt ist, dass der Ablauf einer Simulation durch die im 
zweiten Speichermedium (13) abgelegten Zustandswerte kontinu- 
ierlich beeinflusst warden kann und/oder die im zweiten Spei- 
chermedium (13) abgelegten Zustandswerte durch das Simulati- 
onssystem (7) modifiziert werden konnen. 

25 

8. System nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet , dass das System (1) mindestens eine 
Prozessanbindung (17) aufweist, welche die Veranderung des 
Zustandes eines realen Prozesses, insbesondere in Abhangig- 

30 keit im. zweiten Speicbermedium (13) abgelegter Zustandswerte, 
und die Brfassung des aktuellen Zustandes eines realen Pro- 
zesses erlaubt. 

9. System nach einem der vorhergehenden Anspriiche, 

35 dadurch gekennzeichnet^ dass das System (1) ein drittes Spei- 
chermedium (16) aufwexst, in dem Daten abgelegt werden, die 
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eine Rekonstruktion eines mittels des Simulationssystems (7) 
simulierten Vorganges erlauben. 

lO.Verfahren zur Darstellung von Inf ormationen, insbesondere 
5 Augment ed--Reality Ixif ormationen, fiir mindestens einen An- 

wender (2) bei dem 

• mit Hilfe mindestens einer Erf assungseinheit (3) eine Um- 
gebung erfasst und entsprechende Umgebungsinf ormationen 
(4) generiert werdeo, die eine Position und/oder eine Aus- 

10 richtung des Systems (1) in Bezug auf die Umgebung kenn- 

zeichnen, 

• mit Hilfe mindestens eines Simulationssystems (7) Simula- 
tionsdaten (12) generiert werden und 

• mit Hilfe mindestens einer Verarbeitungseinheit (8) die Um- 
15 gebungsinf ormationen. (4) und auf Basis der Simulationsda- 

ten (12) kontinuierl_ich modifizierte und in einem ersten 
Speichermedium (5) abgelegte Bildinf ormationen (6) ver- 
kniipft werden. 

20 11. Verfahren nach Anspruch 10^ 

dadurch gekennzeichnet , dass mit Hilfe der Verarbeitungsein- 
heit (8) Verdeckungen virtueller Objekte (18a^ 18b) durch ei- 
ne im Erfassungsbereicli des Systems (1) exist ierende reale 
Anordnung (11) auf Bas±s der in dem ersten Speichermedium (5) 

25 abgelegten Bildinf ormationen (6) berechnet werden sowie eine 
Datenmenge (9) zur Beschreibung der virtuellen Objekte (ISa, 
18b) generiert wird, wobei die von der realen Anordnung (11) 
verdeckten Flachen der virtuellen Objekte (18a, 18b) ausge- 
blendet sind. 



30 



35 



12. Verfahren nach einem der Anspriiche 10 Oder 11, 
dadurch gekennzeichnet /r dass mit Hilfe mindestens einer Wie- 
dergabeeinheit (10) die von der Verarbeitungseinheit (8) ge- 
nerierte Datenmenge (9) dargestellt wird. 
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13. Verfahren nach einem der Anspriiche 10 bis 12^ 

dadurch gekennzeichnet, dass mit Hilfe mindestens einer An- 
wendungssteuerung (14) das Simulationssystems (7) und/oder 
mindestens ein realer Prozess angesteuert werden. 

14. Verfahren nach einem der Anspriiche 10 bis 13, 

dadurch grekennzeichnet/ dass mit Hilfe mindestens einer An- 
wendersctinittstelle (15) dem Anwender eine Ansteuerung des 
Simulationssystems (7) und/oder mindestens eines realen Pro- 
zesses erlaubt wird. 

15. Verfahren nach einem der Anspriiche 10 bis 14, 

dadurch gekennzeichnet, dass in einem zweiten Speichermedium 
(13) aktuelle Zustandswerte des realen Prozesses, insbesonde- 
re Sensorwerte und/oder zu setzende Aktorwerte, abgelegt wer- 
den. 

16. Verfahren nach einem der Anspriiche 10 bis 15, 
dadurch gekennzeichnet, dass der Ablauf einer Simulation 
durch die im zweiten Speichermedium (13) abgelegten Zustands- 
werte kontinuierlich beeinflusst werden kann und/oder die im 
zweiten Speichermedium (13) abgelegten Zustandswerte durch 
das Simulationssystem (7) modifiziert werden konnen. 

17. Verfahren nach einem der Anspriiche 10 bis 16, 

dadurch gekennzeichnet, dass mit Hilfe mindestens einer Pro- 
zessanbindung (17) der Zustand eines realen Prozesses veran- 
dert wird/ insbesondere in Abhangigkeit im zweiten Speicher- 
medium (13) abgelegter Zustandswerte, und/oder der aktuelle 
Zustand eines realen Prozesses erfasst wird. 

18. Verfahren nach einem der Anspruche 10 bis 17, 

dadurch gekennzeichnet, dass in einem dritten Speichermedium 
(16) Daten abgelegt werden, die eine Rekonstruktion eines 
mitt els des Simulationssystems (7) simulierten Vorganges er- 
lauben . 
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